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(57) Abstract: The invention relates to a method and to a device used for the digital image processing of CMOS camera images. 
CMOS cameras suffer from a so-called afterglow effect when moving objects with high contrasts are recorded. This afterglow effect 
leads to erroneous values in image evaluation. The inventive method and device allows for an improved digital image evaluation of 
CMOS camera images. The actual photoelectric current can be determined without afterglow effect by subtracting a defined damping 
constant c multiplied by the output signal g from the variation with time of the output signal value. 

(57) Zusammenfassung: Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur digitalen Bildverarbeitung von CMOS-Ka- 
merabildern. CMOS-Kameras weisen bei der Aufhahme von sich bewegenden Objekten mit hohen Kontrasten einen Nachleuchtef- 
fekt auf. Dieser fuhrt bei der Bildauswertung zu fehlerhaften Werten. Mit dem erfindungsgemassen Verfahren und der Vorrichtung 
ist es nunmehr maglich, eine verbesserte digitale Bildauswertung von CMOS -Kamerabi Idem zu ermoglichen. Durch Subtraktion 
einer definierten Abklingkonstante c multipliziert mit dem Ausgangssignal g von der zeitlichen Anderung des Ausgangssignalwerts 
kann der aktuelle Photostrom ohne Nachleuchteffekt ermittelt werden. 
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Verfahren und Vorrichtung zur digitalen Bildverarbei- 
tung von CMOS -Kamerabi Idem 



Die Erfindung betrifft ein Verfahren sowie eine Vor- 
richtung zur digitalen Bildverarbeitung von CMOS- 
Kamerabi 1 dern . 

Um Bilder mit Rechnersystemen bearbeiten zu konnen, 
miissen sie in Datenformate umgesetzt werden, die rech- 
nerkompatibel sind. Diese Umsetzung heiSt Digitalisie- 
rung. In der digitalen Bildverarbeitung werden die Ori- 
ginalbilddaten in rechnerkonf orme Datenformate trans- 
formiert. Sie stehen dann als zwei- oder mehrdimensio- 
nale Funktionen fur die Bearbeitung zur Verfiigung. 
Bei der Bildaufnahme wird eine kontinuierliche Szene 
raumlich diskretisiert . Eine Moglichkeit der mathemati- 
schen Beschreibung von digitalisierten Bilddaten ist 
die Notation als Bildmatrizen. Das Bild S (die Szene S) 
ist eine rechteckige Matrix (Bildmatrix) S = (s(x, y) ) 
mit Bildzeilen und Bildspalten. Der Zeilenindex ist x 
und der Spaltenindex ist y. Der Bildpunkt (Pixel) an 
einer Stelle (Zeile, Spalte) = (x, y) besitzt den Grau- 
wert s (x, y) . Es werden also Elementarbereiche der Sze- 
ne auf je ein Pixel der Bildmatrix abgebildet . Zur Di- 
gitalisierung von Bilddaten ist eine Hastening und eine 
Quant isierung notwendig. Bei der Rasterung wird das zu 
digitalisierende Bild durch die Uberlagerung mit einem 
rechteckigen oder quadratischen Gitter in Rasterfla- 
chenstucke unterteilt. Bei der Quantisierung wird jedem 
Rasterf lachenstuck ein Grauwert s (x, y) aus einer Grau- 
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wertmenge G zugewiesen. Die Bestimmung dieses Grauwer- 
tes kann punktuell erfolgen oder durch Mittelung uber 
die Rasterf lache. 

Zur Erfassung digitaler Bilddaten werden neben CCD- 
5 Kameras vielfach auch CMOS-Kameras eingesetzt. Diese 
Kameras finden vielfaltigen Einsatz in Wissenschaft und 
Industrie wie z. B. Crashauf nahmen und fur die Uberwa- 
chung schneller technischer Ablaufe in der Produktion. 
CMOS- (Complementary Metal Oxide Semiconductor) Kameras 
10 verfiigen gegeniiber CCD-Bildsensoren uber eine hohe Hel- 
ligkeitsdynamik sowie hohere zulassige Betriebstempera- 
turen. Die auf die Photodioden der CMOS Kamera eintref- 
fenden Lichtpartikel (Photonen) werden in elektrischen 
Strom umgewandelt. Den lichtempf indlichen Photodioden 
15 sind mehrere Transistoren beigeordnet . Die CMOS- 
Kamerapixel bestimmen ihren Grauwert (Signal) aus dem 
aktuellen Photostrom der Photodioden. Jeder Pixel kann 
einzeln gelesen und ausgewertet werden. Dies ermoglicht 
den wahlfreien Zugriff auf die jeweils interessanten 
Bildteile und hat insbesondere Vorteile in der indus- 
triellen Bildverarbeitung . Mit Hilfe von CMOS-Kameras 
konnen sehr hohe Bildraten erzielt werden (extreme 
Zeitlupe) . Die Zugriff szeiten auf einzelne Pixel sind 
dabei naturgemaJS sehr kurz, d. h. der aktuelle Photo- 
25 strom hat nur eine sehr kurze Einstellzeit zur Verfu- 
gung. 

Bei hohen Kontrasten und sich bewegenden, bzw. sich 
schnell verandernden Objekten, dominieren vor allem bei 
hohen Bildraten die noch nicht abgeklungenen starken 
Strome von ehemals hellen Bildbereichen die jetzt dun- 
kel gewordenen Signalbereiche . Die in der Pixelschal- 
tung enthaltenen „parasitaren" Kapazitaten (siehe [4] , 
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Kapitel 8.3) bewirken eine zeitliche Verschmierung des 
Pixelsignals . Dieser Effekt wird im Rahmen der vorlie- 
genden Erfindung als „kapazitiver Nachleuchtef f ekt " be- 
zeichnet. Die durch die iiblicherweise logarithmische 
5 Darstellung der Werte sehr hohe Grauwertauf losung der 
Kamera ist dadurch stark reduziert, bzw. es werden 
stark fehlerbehaftete Werte geliefert. Bewegt sich bei- 
spielsweise ein helles Signal uber einen relativ dunk- 
len Hintergrund, z. B. ein SchweiJSpunkt uber ein Blech, 

10 so zieht es einen Schweif hinter sich her (vgl . [4], S. 
37) . Dieser Schweif uberdeckt den dunkleren Hinter- 
grund. Mochte man z. B. beim SchweiSen eines Bleches 
die SchweiSnaht direkt hinter dem SchweiSpunkt kontrol- 
lieren, so mu6 man warten, bis der Schweif von dem 

15 Nahtstiick verschwunden ist. 

Es gibt mehrere Moglichkeiten, diesen nachteiligen Ef- 
fekt des kapazitiven Nachleuchtens auf die Geschwindig- 
keit der Bildaufnahme zu korrigieren: 

Durch eine maSige Untergrundbeleuchtung kann die Entla- 
2 0 dung von hellen Pixeln deutlich beschleunigt werden. 

Ist die Bewegungsrichtung bekannt, kann ferner bei be- 
stimmten Anwendungen, bei denen die Position von realen 
Objekten oder von projizierten Mustem erfaSt werden 
soli, die Analyse entgegen der Bewegungsrichtung erfol- 
25 gen, d. h. man detektiert den schnellen Wechsel von 

dunkel auf hell. Diese Verfahren eignen sich allerdings 
nur bei bestimmten Anwendungen, wenn beispielsweise die 
Beleuchtung bzw. die gesamte Aufnahmesituation bekannt 
ist bzw. gesteuert werden kann. Die genannten Auswerte- 
30 strategien konnen nicht sichtbare Signalanteile aber 
lediglich ignorieren bzw. umgehen, nicht rekonstruie- 
ren. 
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Die Auswertung von optischen Prozessen wie z. B. fur 
das Abklingen der Temperatur in Warmebildern erfolgt 
mittels mathematischer Modelle. So ist beispielsweise 
aus [3], Fig. 9 die Verwendung einer Dif f erentialglei- 
5 chung (DGL) bekannt . Bei diesem Verfahren werden die 
physikalischen Bedingungen der Bildauf nahme in einer 
DGL beschrieben und unbekannte Parameter dieser DGL nu- 
merisch geschatzt. Bekannte lokale Schatzverf ahren sind 
hierbei u.a. ^ordinary least squares (OLS) u , 7/ total le- 

10 ast squares (TLS) w und /; mixed OLS-TLS" [5] , die alle 
eine spezielle Auspragung, der jedem Standardwerk der 
Numerik zu entnehmenden Methode, der kleinsten Quadrate 
sind. Weiterhin sind sogenannte Variationsverf ahren mit 
Daten- und Glattheitstermen gebrauchlich (siehe z. B. 

15 [1, 6] ) . 

Die Anwendung entsprechender Modelle fur die Auswertung 
von CMOS-Kamerabildern wurde bisher in der Literatur 
nicht beschrieben. 

2 0 Es ist daher Aufgabe der Erfindung ein Verfahren und 

eine Vorrichtung zu schaffen, mit dem eine verbesserte 
digitale Bildverarbeitung von CMOS-Kamerabildern mog- 
lich ist. 

25 Ausgehend vom Oberbegriff des Anspruchs 1 wird die Auf- 
gabe erf indungsgemaS gelost, mit den im kennzeichnenden 
Teil des Anspruchs 1 angegebenen Merkmalen. Weiterhin 
wird die Aufgabe ausgehend vom Oberbegriff des An- 
spruchs 9 erf indungsgemaS gelost, mit den im kennzeich- 

3 0 nenden Teil des Anspruchs 9 angegebenen Merkmalen. 
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Mit dem erf indungsgemaSen Verfahren und der Vorrichtung 
ist es nunmehr moglich, eine schnelle und direkte Aus- 
wertung von sich bewegenden Bildern mit hohen Kontras- 
ten zu ermoglichen, ohne daS kapazitive Nachleuchtef - 
5 fekte zu einer verzogerten Auswertung fiihren. Es wird 
moglich, den aktuellen Photostrom ohne die kapazitiven 
Nachleuchtef fekte, die sich aus physikalischen Grunden 
nicht vermeiden lassen, auszuwerten. Es wird weiterhin 
moglich, hohe dynamische Anderungen von hell nach dun- 
10 kel (hoher Kontraste) z . B. in Hochgeschwindigkeits- 
Aufnahmen zu rekonstruieren. Es wird moglich, Intensi- 
taten mit minimierten Einfliissen des Nachleuchtens 
quantitativ auszuwerten. 

15 Vorteilhafte Weiterbildungen sind in den Unteranspru- 
chen angegeben. 



Im Folgenden soli die Erfindung beispielhaft beschrie- 
ben werden. 



20 



Der Zusammenhang zwischen Kapazitaten, Photostrom und 
Bilddaten laSt sich fur bewegte Objekte mit Hilfe einer 
in den Grauwerten linearen partiellen Dif f erentialglei- 
chung (1) darstellen, die wie folgend formuliert werden 
25 kann: 



dg(x y,t) = c (x,y 9 t)g(x,y 9 t) + q(x,y,t) 

(1) 
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Dabei gilt: 

g = Grauwert der Bildfolge 

c = Abklingkonstante (normalerweise negativ) 

q « interessierender Quellterm (Licht) 

u = lokale (Objekt-) Verschiebung u==(dx/dt, dy/dt) 

Der Grauwert g der Bildfolge stellt die von der CMOS- 
Kamera direkt gelieferten, unkorrigierten Bilddaten 
dar. Sie sind das eigentliche Ausgangssignal . Unter der 
Bezeichnung Ausgangssignalwert ist im Folgenden das ge- 
5 samte durch den Photonenstrom erzeugte MeSsignal g zu 
verstehen. 

Die Abklingkonstante c ist der physikalische Parameter, 
der der Entladungsgeschwindigkeit der Kapazitaten in 
der CMOS-Kamera entspricht. Die aus der Kapazitat zwi- 
10 schen den Auslesevorgangen abgeflossene Ladungsmenge 
wird durch den Ausdruck c*g angegeben. 

Der Quellterm q stellt die zum Zeitpunkt t zum Photo- 
strom g hinzukommende Ladung dar. Damit ist q das inte- 
ressierende Zielsignal. 

15 Durch Subtraktion des Terms c*gr von der zeitlichen An- 
derung des Ausgangssignalwert s g kann der aktuelle Pho- 
tostrom ohne kapazitive Nachleuchtef f ekte, namlich der 
Quellterm q, der im Folgenden als Zielsignalwert be- 
zeichnet wird, bestimmt werden. 

2 0 Eine vorteilhafte Ausgestaltung des Verfahrens ist da- 
durch gekennzeichnet, daS eine Parameterschatzung 
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durchgefuhrt wird. Dieser Verf ahrensschritt ist fur 
Bilddaten mit hohen Kontrasten besonders geeignet, da 
hier Nachleuchtef f ekte relevant sind. Diese Bereiche 
lassen sich schnell und einfach detektieren, beispiels- 
5 weise mittels des in [1] beschriebenen lokalen Kon- 

trastmalSes, gefolgt von einer Schwellwertsegmentierung . 
Beschrankt man die Parameterschatzung auf diese Berei- 
che, so kann eine erhebliche Beschleunigung der Berech- 
nurig erreicht werden. 

10 Aus der Literatur [3] ist die „ total least squares » 

(TLS) Methode fur die allgemeine Parameterschatzung in 
partiellen Dif f erentialgleichungen dieses Typs bekannt . 
Sie eignet sich beispielsweise dazu, diese Parameter- 
schatzung durchzuf uhren . Auch andere, zum Teil oben ge- 

15 nannte, bekannte Parameterschatzverf ahren wie z. B. die 
„ordinary least squares (OLS) » oder die „Mixed OLS-TLS" 
und/oder Variationsmethoden sind fur diese Schatzung 
geeignet . 

In einer vorteilhaf ten Ausgestaltung des Verfahrens 
20 lafit sich der Quellterm q mit Hilfe einer Parameter- 
schatzung wie z. B durch die Methode der „ total least 
squares " [3] aus den originalen Ausgangssignalwerten 
bestimmen. Hierzu wird die oben angegebene Differenti- 
algleichung (1) verwendet . Aus dem Ausgangs signal g 
2 5 werden dabei mittels diskreter Faltungen mit Ablei- 

tungskernen die raum-zeitlichen Ableitungen von g be- 
stimmt. Diese und alle bereits z. B. aus Kalibrier- 
schritten oder Auf nahmebedingungen bekannten Parameter 
werden in (1) eingesetzt. Aus dem so entstandenen Glei- 
30 chungssystem wird g( X/ y, t) per Parameterschatzung er- 
mittelt . 
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Eine vorteilhafte Ausgestaltung des erf indungsgemaSen 
Verfahrens ist dadurch gekennzeichnet , daS die Abkling- 
konstante c ebenfalls durch Parameterabschatzung be- 
stimmt werden kann. 

5 Eine vorteilhafte Ausgestaltung des erf indungsgemaSen 
Verfahrens ist dadurch gekennzeichnet, daS die Abkling- 
konstante c durch vorherige Kalibration der CMOS-Kamera 
bestimmt werden kann. Sie mufi dann nicht mehr durch Pa- 
rameterschatzung bestimmt werden. Dadurch wird eine Be- 

10 schleunigung des Verfahrens ermoglicht. Die Abklingkon- 
stante c ist unter geniigend konstanten Betriebsbedin- 
gungen eine nur von der Kamera abhangige, zeitlich 
nicht variable GroEe, d.h. c = c(x, y) . Bei guter Homo- 
genitat der Pixel ist c = const. Die Abklingkonstante c 

15 lafit sich daher auch offline in einem Kalibrierungs- 
schritt berechnen. 

Eine vorteilhafte Ausgestaltung des erf indungsgemaSen 
Verfahrens ist dadurch gekennzeichnet, dag die Objekt- 
bewegung u ebenfalls durch Parameterschatzung bestimmt 
20 werden kann. Bereits bekannte Ob j ektbewegungen mussen 
nicht geschatzt werden. Die Parameter u x und u y konnen 
dann in die Dif ferentialgleichung (1) eingesetzt wer- 
den. Die Parameterschatzung wird dadurch vereinfacht 
und beschleunigt . 

25 Eine vorteilhafte Ausgestaltung des Verfahrens ist da- 
durch gekennzeichnet, dafi das erf indungsgemafie Verfah- 
ren mit Hilfe von FPGA^s (Field Programmable Gate Ar- 
rays) implement iert wird. Beschrankt man die Ausgangs- 
signalwerte auf nicht zu groSe Bildausschnitte, so wird 
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es moglich, Bildraten von mehreren Bildern pro Sekunde 
zu erreichen. 

Die Erfindung betrifft weiterhin eine Vorrichtung zur 
5 digit alen Bildverarbeitung in CMOS Kamerabildern, 

dadurch gekennzeichnet , dag sie fur die Durchfuhrung 
des erf indungsgemaSen Verfahrens geeignet ist. 

Literatur: 

[1] : B. Jahne, Digitale Bildverarbeitung, 4. Auf 1 . , 
Springer, 1997. 

[2]: B. Jahne, H. HauJSecker, P. GleiSler (EDS.) Hand- 
book of Computer Vision and Applications, Volume 1. 
Sensors ans Imaging, Academic Press, 1999. 

[3] : Horst W. Haufiecker and David J. Fleet, Computing 
Optical Flow with Physical Models of Brightness Varia- 
tion IEEE Trans. PAMI, Vol. 23, No. 6, pp 661-673, June 
2001. 

[4] : T. Seiffert, Mefiverf ahren und KenngroSen zur Beur- 
teilung des dynamischen Kontrastauf losungsvermogens 
10 elektronischer Bildauf nehmer , Diplomarbeit , Universitat 
Karlsruhe (TH) , 2001. 

[5] : C. Garbe, Measuring Heat Exchange Processes at the 
Air-Water Interface from Thermographic Image Sequence 
15 Analysis, Doktorarbeit , Universitat Heidelberg, 2001. 

[6]: J. Weickert und C. Schnorr, Variational Optic Flow 
Computation with a Spat io- Temporal Smoothness 
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Patentanspruche 



1. Verfahren zur digitalen Bildverarbeitung in CMOS- 
Kame rabildern, 

dadurch gekennzeichnet , 

daS die zeitlichen Anderungen der Ausgangssignal- 
werte g sich aus dem Term c*g und dem Quellterm q 
zusammensetzen und die Berechnung der Ziel signal - 
werte q die Subtraktion des Terms c*gr von der zeit- 
lichen Anderung des Ausgangssignalwerts g der Bild- 
daten umf afit . 

2 . Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet , 

daJS fur Bereiche von Bilddaten mit hohen Kontrasten 
eine Parameter schatzung durchgefuhrt wird. 

3. Verfahren nach einem der Anspruche 1 bis 2, 
dadurch gekennzeichnet, 

daS zur Parameterschatzung die „ total least 
squares^ (TLS) , „ordinary least squares" (OLS) , 
„Mixed OLS-TLS" und/oder Variationsmethoden verwen- 
det werden. 

4. Verfahren nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

daS die Abklingkonstante c und/oder die Objektver- 
schiebung u durch Parameterschatzung aus den Bild- 
daten bestimmt wird. 

5. Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 



WO 2004/055727 



12 



PCT7DE2003/003939 



10 



daS die Abklingkonstante c durch Kalibration der 
Kamera bestimmt wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, 
dadurch gekennzeichnet , 
da6 die Dif f erentialgleichung (1) 

dg( d > / >0 = c <*' J>,0 + q(x,y 9 t) 
mit 

gr = Grauwert der Bildfolge 

u = Objektverschiebung (Verschiebungsvektorf eld) 
c = Abklingkonstante 

q = interessierende Quellterm (Licht) 
verwendet wird. 



7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet , 

dalS bekannte Ob j ektbewegungen u x und u y direkt in 
die Dif f erentialgleichung (1) eingesetzt werden. 

15 8. Verfahren nach einem der Anspruche 1 bis 7, 
dadurch gekennzeichnet, 

dafi Field Programmable Gate Arrays (FPGA^s) imple- 
mentiert werden. 

9. Vorrichtung zur digitalen Bildverarbeitung in CMOS- 
20 Kamerabildern, 

dadurch gekennzeichnet, 

daJS sie fur die Durchfiihrung des Verfahrens gemaS 
Anspruch 1 bis 8 geeignet ist. 
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